De heerlijckyt van Elsmeren werd voor het eerst vermeld in 1299 als een versterking aan de Gete, het lag bij de eerste verdedigingslinie van het hertogdom Brabant tegen het graafschap Loon, het bestond uit een donjon en enkele bijgebouwen. Deze heerlijckyt was tot in de 15de eeuw het bezit van het geslacht van der Elsmeren dat zijn naam aan het hof ontleende.
Het feodale Hof van Elsmeren werd in 1667 afgebroken en door het huidige kasteelcomplex vervangen. Het jaartal 1667 staat op een windwijzer op een van de torentjes. Het kasteel is opgetrokken in baksteen en toont ornamenten in een overgangsstijl van barok en rococo. In 1699 kwam het kasteel in het bezit van de familie de Rijckman de Betz.
Het huidige uitzicht van het kasteelcomplex wordt in hoge mate bepaald door restauratie- en verfraaiingwerken uitgevoerd in de jaren '20 en '90 van de vorige eeuw in opdracht van de familie de Rijckman de Betz. Daarbij zou ook materiaal van elders zijn aangevoerd, onder meer van het nabijgelegen, deels gesloopte kasteel van de Heren van Hoen te Rummen. Het geheel is omringd met een park, vijvers en zeldzame bomen.
In 2004 droeg de familie de Rijckman de Betz het domein over op de nieuwe eigenaars die het verbouwden tot seminarie- en ontmoetingscentrum.